Thời Tống Nhân Tông, Tư Mã Quang lần lượt trải qua các chức quan địa phương và Điện trung thừa, Kiểm khảo sử quán, Khởi cư xá nhân, Đồng tri gián viện, Ngự sử trung thừa, Tri chế cáo, Hàn lâm học kiêm thị giảng… Trong các vị trí, ông đều làm tốt công việc và được vua Tống trọng dụng[2].

Trong các vấn đề trọng đại thời vua Nhân Tông và Anh Tông, ông đều có ý kiến và giải pháp riêng, dần dần trở thành nhân vật quan trọng trên chính trường. Ông luôn giữ tư tưởng truyền thống bảo thủ, vì vậy ông trở thành nhân vật trung tâm của phe bảo thủ chống lại những biến pháp cách tân của Vương An Thạch.

Do tư tưởng giữa ông và Vương An Thạch khác nhau, năm 1070, ông từ chức, rời kinh thành đi Vĩnh Hưng[3]. Sở dĩ Tư Mã Quang phản đối biến pháp của Vương An Thạch vì những ký do[4]:

• Ông không đồng tình với cách dùng người của Vương An Thạch. An Thạch phế bỏ hết các lão thần, trọng thần trong triều mà thăng chức, bổ nhiệm những người mà Tư Mã Quang cho là "tiểu nhân gian tà".
• Pháp luật không đủ vững chắc, chỉ trong vòng 2 năm mà Vương An Thạch ban bố hàng loạt điều luật mới khiến nhân dân không theo kịp.
• Những cải cách về nông nghiệp và thương mại ở nông thôn, Tư Mã Quang cho rằng làm gánh nặng với nông dân càng nặng thêm.

Năm 1071, ông đến Tây Kinh Lạc Dương nhưng không nhận chức quan nào, không tham gia đàm luận chính sự mà chỉ tập trung viết sử. Ông được triều đình cho phép chở bản thảo sách Tư trị thông giám tiếp tục về đây biên soạn.

Biến pháp của Vương An Thạch đã làm nảy sinh sự bất hòa trong triều đình. Năm 1076, biến pháp rơi vào bế tắc, Vương An Thạch phải xin từ chức. Cuối cùng Tống Thần Tông lại nhờ đến sự giúp đỡ của Tư Mã Quang.

Năm 1085, Tống Thần Tông qua đời, Tư Mã Quang về kinh dự tang lễ hoàng đế. Sau đó ông trở về Lạc Dương. Thái hậu bèn sai người đến Lạc Dương đón ông về triều, phong chức Môn hạ thị lang (phụ tá cho Thừa tướng) nhưng thực tế là chủ trì mọi việc trong triều.

Tháng 2 nhuận năm 1086, Tư Mã Quang được phong làm thừa tướng. Lúc đó ông đã 67 tuổi, sức khỏe yếu. Tuy nhiên, ông vẫn cố đảm đương công việc. Tư Mã Quang phế bỏ những điều luật mới mà Vương An Thạch đề ra, coi đó là "hại dân hại nước". Đồng thời, ông phạm một số sai lầm như bỏ luôn chính sách miễn nô dịch của Vương An Thạch, không nghe theo những lời khuyên tích cực của Tô Đông Pha và một số kiến nghị khác[5].

Ngày 1 tháng 9 âm lịch năm 1086, Tư Mã Quang qua đời, thọ 67 tuổi.